跳转至

编码智能体是否需要可执行世界模型、简化和验证来解决 ARC-AGI-3？

文章背景与核心概要

本文探讨了在解决 ARC-AGI-3 任务时，编码智能体是否真正需要“可执行世界模型”、“提示词简化”以及“精确回放验证”这三种特定的结构化机制。作者通过对比四种基于 Codex 的智能体变体，在不同推理强度（如 gpt-5.4 到 gpt-5.6-sol）下的表现，分析了这些机制对性能的实际贡献。

研究发现，智能体的性能提升主要取决于底层模型的能力和推理投入，而非上述强制性机制。尽管包含完整验证的方案在性能上通常名列前茅，但其计算成本极高。实验结果表明，在最大推理强度下，纯文本方法也能高效完成任务，证明了这些复杂机制并非解决公开数据集的必要条件，同时也揭示了当前模型在公开测试集上已趋于饱和。

执行摘要

本文研究了编码智能体是否真正需要特定的结构化机制——即可执行世界模型、提示词简化和精确回放验证——来成功解决 ARC-AGI-3。

通过比较四种基于 Codex 的智能体在不同推理强度（使用 gpt-5.4、gpt-5.5 和 gpt-5.6-sol 等模型）下的表现，作者发现性能的提升主要随模型能力和推理投入而扩展，而非取决于这些强加的机制。虽然完整的验证处理方案始终排名第一（尽管资源成本显著更高），但更简单的文本方法或未经验证的可执行模型仍能实现高动作效率，这表明这些机制对于完成公开数据集并非普遍必要。

This paper investigates whether coding agents genuinely require specific structural mechanisms—namely executable world models, prompted simplification, and exact replay verification—to successfully solve ARC-AGI-3.

By comparing four variants of Codex-based agents across different reasoning efforts (using models like gpt-5.4, gpt-5.5, and gpt-5.6-sol), the author finds that performance scales primarily with model capability and reasoning effort rather than these imposed mechanisms. While the full verification treatment consistently ranks first (albeit with significantly higher resource costs), simpler textual approaches or unverified executable models can still achieve high action efficiency, demonstrating that these mechanisms are not universally necessary for public-set completion.

摘要与方法论

此前的 ARC-AGI-3 智能体将可执行世界建模、提示词简化和精确回放验证捆绑在一起，导致难以孤立地评估它们各自的贡献。

  • 可执行世界模型： 一种以可运行代码形式体现的、持久的智能体编写环境假设。
  • 测试变体： 本研究比较了四种基于 Codex 的智能体配置：
  • 文本变体
  • 灵活接口可执行变体
  • 带简化提示词的可执行变体
  • 固定接口变体（带有简化和针对记录观察结果的精确回放验证）

Previous ARC-AGI-3 agents bundled executable world modeling, prompted simplification, and exact replay verification together, making it difficult to isolate their individual contributions.

  • Executable World Model: A persistent, agent-authored environment hypothesis embodied in runnable code.
  • Tested Variants: The study compares four Codex-based agent configurations:
  • Textual variant
  • Flexible-interface executable variant
  • Executable with simplification prompts variant
  • Fixed-interface variant with simplification and exact replay verification against recorded observations

主要发现

  • 能力重于架构： 随着底层模型能力和推理投入（high 对比 xhigh / max）的增加，所有变体的得分都会提高。这些性能增益往往超过了变体本身之间的性能差异。
  • 可执行交付物并非普遍有益： 有趣的是，在 gpt-5.5 条件下，文本变体的表现优于灵活接口可执行变体。
  • 简化的影响： 在四分之三的评估设置中，采用简化提示词的变体得分高于仅有可执行功能的对应版本。
  • 验证与成本： 完整的验证处理在所有设置中均排名第一（有时优势微弱），但它消耗了大量的计算资源。
  • 最大投入下的动作效率：
  • 在 gpt-5.6-sol 模型下，使用 xhigh 和 max 推理投入时，验证变体完成了所有公开关卡，其动作效率约为人类的 99%，且使用的总动作数不到人类基准的一半。
  • 在 max 投入下，纯文本变体也成功完成了所有关卡，使用的动作比人类基准少 41%。
  • 关于公开数据集饱和的结论： 由于 gpt-5.6-sol 的发布时间晚于游戏创建时间，且留存数据尚未经过测试，研究结果仅指向公开数据集饱和。在最大投入水平下，这三种强加的机制在技术上并非实现高效动作完成的必要条件，尽管验证机制有助于在较低推理投入下维持更高分数。
  • Capability over Architecture: Every variant scores higher as underlying model capability and reasoning effort (high vs. xhigh / max) increase. These performance gains often dwarf the performance differences between the variants themselves.
  • Executable Deliverables are Not Universally Beneficial: Interestingly, the textual variant outperformed the flexible-interface executable variant in both gpt-5.5 conditions.
  • Impact of Simplification: The simplification-prompted variant scored higher than its executable-only counterpart in three out of four evaluation settings.
  • Verification vs. Cost: The complete verification treatment ranked first across all settings (sometimes by a narrow margin), but it consumed substantially more computational resources.
  • Action Efficiency at Max Effort:
  • Using gpt-5.6-sol at xhigh and max reasoning effort, the verification variant completed every public level with roughly 99% human-relative action efficiency while using fewer than half the total actions of the human baseline.
  • At max effort, the purely textual variant also completed every level successfully, using 41% fewer actions than the human baseline.
  • Conclusion on Public-Set Saturation: Because gpt-5.6-sol postdates the creation of the games and held-out data remains untested, the results point exclusively to public-set saturation. At maximum effort levels, the three imposed mechanisms are technically not required for action-efficient completion, though verification helps maintain higher scores at lower reasoning efforts.

文档元数据

  • 备注： 45 页，3 张图表
  • 提交历史：
  • [v1] 2026 年 7 月 16 日，星期四，20:18:59 UTC (1,160 KB)
  • [v2] 2026 年 8 月 27 日，星期四，10:38:16 UTC (2,098 KB)
  • Comments: 45 pages, 3 figures
  • Submission History:
  • [v1] Thu, 16 Jul 2026 20:18:59 UTC (1,160 KB)
  • [v2] Thu, 27 Aug 2026 10:38:16 UTC (2,098 KB)